Het oudste gegeven over het kasteel is de gedenksteen in arduin die in 1802 werd aangebracht in het souterrain. Eigenaar was toen brouwer Corneel Scheppers, een telg uit een bekend Mechels geslacht.
In 1792 reisde hij naar Rome, waar hij het nabijgelegen stadje Tivoli met zijn vijvers en fonteinen bezocht. Na deze reis besloot Scheppers om op zijn domein in 1802 een landhuis te bouwen. Het kasteel was als buitenverblijf bedoeld. Hij gaf het ganse domein de naam 'Tivoli'. In 1841 liet hij zijn buitenverblijf over aan zijn jongste zoon Victor, beter bekend als Monseigneur Scheppers.
Het domein heeft een belangrijke rol gespeeld in zijn leven en werk. In een bijgebouw van het kasteel gaf hij aan kinderen uit de buurt godsdienst onderricht en leerde ze lezen en schrijven. Na zijn overlijden werd het domein, op 18 juni 1877, eigendom van de heer en mevrouw Van Diepenbeek, eveneens brouwer te Mechelen. Zij hadden 2 zonen als erfgenamen, Louis en Leon. Leon maakte zijn deel in erfgoed Tivoli over aan zijn broer, die dus de enige bezitter werd. Hij stierf in 1937. Zo werd Tivoli eigendom van zijn enige dochter Renée Van Diepenbeek.
Na het overlijden van haar echtgenoot Charles Degraux, kwam zij Tivoli bewonen. Haar overlijden op 22 januari 1978 werd beslissend voor Tivoli. Haar enige dochter, Andrée Degraux maakte haar erfenis over aan haar 5 kinderen, die nog het zelfde jaar verkochten aan de Stad Mechelen.
In het najaar van 1990 werd het kasteel volledig beplakt met vellen papier, ingekleurd met een blauwe balpen, auteur van dit artistiek evenement was Jan Fabre.
In 1997 werd het kasteel beschermd als monument. Het omringende park, een oase van rust en groen, en de bijgebouwen vormen een beschermd stadsgezicht. In het geklasseerd kasteel is sinds 1991 een horecazaak gevestigd.